LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks
LLM-as-a-Coach：面向非可验证任务的经验学习
🧭 LLM 后训练从标量奖励转向经验反馈
Microsoft Research · Tsinghua University · Peking University
将 LLM 评估从标量奖励升级为细粒度经验反馈，通过上下文蒸馏提升开放任务的后训练效果
📌 工作参考价值（4 点）
- 广告文案 / 推荐理由生成：将点击、转化等弱信号通过教练模型转化为细粒度的文本反馈（如“信息量不足”“说服力弱”），再用 EL 蒸馏优化生成策略，替代只优化点击率的标量奖励，能显著提升文案质量与多样性。
- 对话式推荐系统：在多轮交互中，用 LLM 教练对每轮回复进行多维度评价（相关性、说服力、个性等），作为经验知识输入策略模型，缓解纯奖励优化导致的单调回复或“套路化”问题。
- 反馈信号设计：借鉴 EL 的教练设计，将评分准则（rubric）的文本描述直接作为经验知识，无需额外训练奖励模型，适合电商场景中快速部署新产品推荐的文案评估。
- 工程实现：EL 的 on-policy 上下文蒸馏可通过偏好对（preference pairs）实现，与 DPO 流程兼容，避免复杂的 RL 基础设施，对线上系统实时更新更友好。